Từ sau khi Ninh Tông lên ngôi, đại thần Hàn Thác Trụ thao túng triều cương với chức vụ là Thái sư Bình chương quân quốc trọng sự. Thác Trụ phát động Khánh Nguyên đảng cấm, hãm hại nhiều đại thần trong triều, đưa phe cánh của mình lên. Từ năm 1206, Thác Trụ nghe nói ở miền bắc Kim quốc suy yếu, liền phát động Bắc phạt Khai Hi hòng thu phục Trung Nguyên. Nhưng quân Tống xuất chiến bất lợi, người Kim nhân đó phản kích, uy hiếp mạnh mẽ vùng Giang Hoài[2]. Năm 1207 khi tình hình chiến sự có chút khởi sắc hơn cho quân Tống, người Kim buộc lòng phải nghĩ đến chuyện nghị hòa nhưng lại yêu cầu thủ cấp kẻ cầm đầu. Hàn Thác Trụ lo sợ quá, nên lại chuẩn bị ra quân hòng giành chiến thắng, lấy lại ưu thế trên bàn đàm phán. Từ khi bắc phạt, trăm họ ở Lưỡng Hoài chịu rất nhiều lầm than khổ sở, nay nghe Thác Trụ lại muốn bắc phạt, thì tiếng oán than vang vọng khắp nơi.

Trước tình hình đó, Sử Di Viễn dâng sớ xin dừng việc này lại và chỉ trích Hàn Thác Trụ. Sau khi sớ được dâng lên, có người khách cảnh báo ông rằng Thác Trụ mà biết tất sẽ trả thù, Thái phu nhân tuổi đã cao sẽ không thể chịu được cảnh xa lìa. Ông nói:

Sau đó Di Viễn được phong chức quyền Thị lang bộ Hình. Năm 1207, ông đổi thành Thị lang bộ Lễ kiêm Đồng tu quốc tử, kiêm việc ở cả bộ Hình. Khi đó tình hình bên ngoài rất gay go khi người Kim gây áp lực buộc triều Tống phải nộp kẻ đầu trò, tăng thuế 10 vạn, cắt đất lấy Trường Giang làm ranh giới, hoặc xưng thần để giữ lấy biên giới như trước. Di Viễn ra sức giãi bày tình hình nguy cấp. Dương hoàng hậu ở trong cung có liên hệ với Di Viễn và cũng ghét Hàn Thác Trụ. Hậu sai hoàng tử Vinh vương Nghiễm[3] đàn hặc Thác Trụ và Hữu Thừa tướng Trần Tự Cường. Ninh Tông tỏ ra bực bội nói là không biết[4]. Dương hậu lại ra sức to nhỏ bên tai Ninh Tông, rồi cho anh mình là Dương Thứ Sơn điều tra tội ác của Thác Trụ. Thứ Sơn đem việc này nói với Di Viễn. Di Viễn xin chỉ của Dương hậu, triệu Tiền Tượng Tổ là người bị Thác Trụ đuổi trước kia, về kinh. Lại bàn với Lễ bộ thượng thư Vệ Kinh, Tác phẩm lang Vương Cư An và Hữu tư lang Trương Từ, Tham tri chính sự Lý Bích kế hoạch lật đổ Thác Trụ.

Những hành động của Sử Di Viễn lâu ngày cũng bị Thác Trụ phát giác ra, nhưng có Lý Bích ra sức biện hộ[4]. Di Viễn nghe chuyện thất kinh, bàn với Trương Từ. Trương Từ khuyên nên giết quách Thác Trụ đi. Di Viễn chấp nhận, báo với Dương hậu, trong đêm cầm hổ phù bí mật điều động binh tốt bảo vệ hoàng cung. Hậu tự tay viết chỉ giao cho Tiền Tượng Tổ để triệu chủ quan cung điện Hạ Chấn cùng 300 quân mai phục ở cầu Lục Bộ. Sáng hôm sau, ngày Ất Hợi (3) tháng 11 (24 tháng 11 năm 1207), Thác Trụ lên triều và bị phục binh của bọn Hạ Chấn giết chết[5].

Khi đó Sử Di Viễn chờ đợi ở triều môn đã lâu, bắt đầu lo sợ muốn cải trang bỏ trốn; thì Hạ Chấn đến báo việc đã xong. Hạ Chấn tuyên chiếu giết Tô Sư Đán, bãi chức Hữu thừa tướng của Trần Tự Cường, đày gia thuộc của Thác Trụ ra Lĩnh Nam... Sử Di Viễn cùng Tiền Tượng Tổ vào cung tâu việc giết Thác Trụ. Ninh Tông muốn phong cho ông làm Thiêm thư Xu mật viện, nhưng ông từ chối và chỉ nhận chức Thượng thư bộ Lễ kiêm Quốc sử thực lực viện tu soạn[1].